Hinge Loss

정답인 class의 score가 다른 class에 비해 좀 더 많이 높도록 강제하는 함수.

정답인 class와, 다른 class중 가장 점수가 높은 class의 score에 어느 정도의 margin을 주고, 그 margin이상으로 정답 class의 score가 높을때 Loss가 0이 되게 한다.

$y_{i}$ 가 정답이라고 하면, $s$ 는 score라 할 때, Loss $L_{i}$ 는

L_{i} = j \neq = y_{i} \sum max (0, s_{j} - s_{y_{i}} + 1)

$1$ 은 일종의 margin이며, 정답 class의 점수 $s_{y_{i}}$ 가 다른 점수보다 훨씬 커야 minus값이 되어 max함수에 의해 0이 된다. 즉, 클수록 Loss가 작아지는 형태이다.

초기 score가 모두 The Uniform Distribution을 따를 걸 기대한다면, 처음의 Loss는 $c - 1$ 이다. $c$ 는 class의 개수이고, 정답 class를 제외하고 다른 score들 끼리 값이 거의 비슷해 위 식에서 값이 1이 나올 것이다. 그러한 것들이 $c - 1$ 개 있으니 초기 Loss는 $c - 1$ 이라고 기대할 수 있고, 이는 모델 구성에 있어 오류가 없는 지 확인해주는 휴리스틱으로 활용 가능하다.